De oorsprong van het Sterckshof gaat terug tot in de 13de eeuw, toen er op deze plaats een versterkte hoeve bevond. Deze schanshoeve droeg toen de naam, Hooftvunder. De hoeve groeide uit tot een versterkt landgoed, dat herhaaldelijk van eigenaar wisselde.
In 1524 werd het gekocht door Gerard Sterck, koopman, bankier en geheim raadsman van keizer Karel V. Hij verbouwt de hoeve tot een kasteel in Renaissancestijl, van dan af droeg het zijn naam. Vanaf 1693 is het Sterckshof eigendom van de Jezuïeten van Lier. Na de opheffing van de Jezuïetenorde wordt het kasteel in 1776 openbaar verkocht aan de bankier Jan Baptist Cogels, die het samenvoegt met zijn landgoed Ter Rivieren.
In 1921 koopt het Provinciebestuur van Antwerpen het landgoed Ter Rivieren, met het kasteel Sterckshof, om er het huidige park Rivierenhof van te maken. Het omgrachte kasteel werd in 1927-1929 opnieuw opgetrokken in traditionele stijl van de 16de eeuw, met gebruik van rode bakstenen, afgewisseld met witte zandsteen.
In 1938 werd het gebouw ter beschikking gesteld van de vereniging ’Museum van Vlaamse Beschaving’ en vanaf 2002 spreekt men van het Zilvermuseum Sterckshof. In 2014 krijgt het Zilvermuseum een nieuwe locatie in hartje Antwerpen. Bij gebrek aan een andere, zinvolle invulling sloot het museum definitief zijn deuren en staat het Sterckshof te koop.